4-Schätzverfahren oder was ist ein KI?

SoSe2022

Folienübersicht

Schätzverfahren

Von der Stichprobe zur Grundgesamtheit

Merkmal	Kennwert	Parameter
Mittelwert	\(\bar{X}\)	\(\mu\) (mü)
Varianz	\(s^2\)	\(\sigma^2\) (sigma-qu.)
Standardabweichung	\(s\)	\(\sigma\) (sigma)
Korrelation	\(r\)	\(\rho\) (rho)
Anteilswert	\(h\) bzw. \(p\)	\(\pi\) (pi)

In der deskriptiven Statistik sind Kennwerte (‘sample statistic’) exakt bestimmbar → sie beziehen sich nur auf die Stichprobe.
In der inferenziellen Statistik wollen wir von den Kennwerten der Stichprobe auf die Parameter der Grundgesamtheit schließen.
Stichprobenkenngrößen werden in der Inferenzstatistik als Zufallsvariable aufgefasst (da abhängig von zufällig gezogenen Stichprobe)
- sie schwanken zufällig, aber zumindest um den ‘wahren’ Wert der Population.

Schätzfunktionen

sind die Basis zur Berechnung von Punktschätzungen und zur Bestimmung von Konfidenzintervallen mittels Intervallschätzern.
werden als Teststatistiken in Hypothesentests verwendet.

Punktschätzer

geben Näherungswert für gesuchten Populationsparameter.
meist mit Angabe eines Maß für den Schätzfehler
Beispiel:
- Erwartungswert
- Varianz
- prozentuale Anteile
- andere Verteilungsparameter (Median,.)
- Regressionsparameter

Intervallschätzer

geben Bereich an (das Konfidenzintervall), in dem der gesuchte Populationsparameter mit gewissen Wahrscheinlichkeit (also mit einer gewissen Konfidenz) liegt.

Punktschätzung

Wie funktioniert das?

Damit Stichprobenkennwerte als Punktschätzer genutzt werden können, müssen sie ‘erwartungstreu’ sein, d.h. keinen systematischen Fehler enthalten.
- → Dann entspricht z.B. der Mittelwert der Stichprobenverteilung (=Erwartungswert \(E(\bar{x})\)) dem Populationsmittelwert → und dann ist auch \(\bar{x}\) ein guter Schätzer für \(\mu\).

Die Stichprobenkennwertverteilung

Eine hypothetische Verteilung

Die Stichprobenkennwertverteilung

Einflussgrößen

Ihre Verteilung ist abhängig von

der Verteilung des Merkmals in der Population.
der Größe der Stichprobe (N).
dem Typ des Kennwerts.
der Art der Stichprobe (repräsentativ oder nicht).

Verteilung der Mittelwerte bei unterschiedlichem N

Punktschätzung

Mittelwert

Beispiel mit \(\mu = 120\text{mm}\)

Bei 1000 Proben mit je N = 5 ist Mittelwert der Stichprobenkennwertverteilung: \[E(\bar{x}) = 119.97 \text{mm}\]

Punktschätzung

Varianz

Beispiel mit \(\sigma^2 = 2500\)

Mittelwert der Varianzverteilung meist kleiner als ‘wahre’ Varianz → enthält weniger sehr unwahrscheinliche oder extreme Werte (BIAS)
Lösung → mit Korrekturfaktor n/(n-1) multiplizieren:

\[\hat{\sigma}^2 = s^2\frac{n}{n-1} \Rightarrow E(\hat{\sigma}^2)=\sigma^2\] \[\hat{\sigma}^2=\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n}\cdot\frac{n}{n-1}=\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n-1}\]

Die R Funktion var() und die Excel/Calc Funktion =VARIANZ() berechnen die korrigierte Varianz.
Bei Excel/Calc gibt es auch die Funktion =VAR.P() für die unkorrigierte Varianz.

Standardschätzfehler

Die Genauigkeit der Punktschätzung sollte immer angegeben werden. Das Maß dafür ist der Standardfehler des Schätzers.
Je kleiner der Standardschätzfehler, desto größer ist die Effizienz des Schätzers.
Der Standardfehler eines Kennwerts entspricht der Standardabweichung der Stichprobenkennwertverteilung.
Der wichtigste ist der Standardfehler des Schätzers des Mittelwerts → wird beeinflusst durch die (geschätze) Populationsvarianz und Stichprobengröße:

Mittelwert

\[\hat{\sigma}_{\bar{X}}=\sqrt\frac{\hat{\sigma}^2}{n}\]

Median

\[\hat{\sigma}_{Md}=1.25\sqrt\frac{\hat{\sigma}^2}{n}\]

Standardabw.

\[\hat{\sigma}_{s}=\sqrt\frac{\hat{\sigma}^2}{2n}\]

Prozentwert

\[\hat{\sigma}_{\%}=\sqrt\frac{P\cdot Q}{n}\]

Konfidenzintervalle (KI)

Ausgangsfrage

Wie präzise ist diese Schätzung von 117mm?
Kann es denn sein, dass der wahre Populationsmittelwert auch 100mm oder 140mm ist und wir einfach Pech mit der Probe hatten?
In welchem Bereich liegt der wahre Mittelwert höchstwahrscheinlich?

Diese Fragen kann ein Punktschätzer nicht beantworten – aber ein Intervallschätzer!

Intervallschätzung

1 Übersicht

Auf Basis einer Zufallsprobe wird der Bereich geschätzt, wo der gesuchte Populationsparameter liegen könnte.
Ausgangspunkt ist immer eine Punktschätzung → dann wird ein (symmetrisches) Intervall bestimmt, das Konfidenzintervall KI
Konfidenz wird als wiederholte Stichprobe interpretiert.
Kann für jeden Parameter (z.B. Mittelwert, Varianz, Korrelationskoeffizient) berechnet werden.
Die Breite des Intervalls hängt ab
- vom Stichprobenumfang, der Varianz der Stichprobe und
- der festgelegten Wahrscheinlichkeit (= Konfidenzniveau) → üblich: 90%, 95%, 99%
Gegenwahrscheinlichkeit \(\alpha\) = Fehler, den wir bereit sind einzugehen.
- Bei einem Konfidenzniveau von 95% ist \(\alpha = 1-0.95 = 0.05~~\text{bzw.} ~~5\%\).

Intervallschätzung

2 Konfidenzintervall

KIs sind immer 2-seitig da Parameter immer größer oder kleiner als der Kennwert sein können: 95% => 2.5% auf beiden Seiten.
Grundsätzlich gilt: je höher die Konfidenz, desto breiter das Intervall.
Zur Berechnung des KI wird der Standardfehler mit einer geeigneten statistischen Verteilung kombiniert, zum Beispiel
- z und t für Mittelwerte,
- \(\chi^2\) für Varianzen.

Im folgenden gehen wir drei Beispiele für die Konfidenzintervalle des Mittelwerts durch.

Konfidenzintervalle beruhend auf der Normalverteilung

n > 30

Beruht auf einer Umstellung der Definition von Z. Nach dem zentralen Grenzwertsatz gilt für große Stichproben:
- Der Bereich zwischen \(\mu\) und ± 1.96 mal dem Standardfehler enthält 95% aller Stichprobenmittelwerte.
- Umkehrschluss: \(\mu\) ist in 95% aller Fälle nicht mehr als 1.96 Standardfehler vom Stichprobendurchschnitt entfernt: \(KI_{95\%} = \bar{X} \pm 1.96\sqrt\frac{\sigma2}{n}\)

Allgemeine Formel für ein beidseitiges Konfidenzintervall

(wenn die Populationsvarianz bekannt ist und eine Normalverteilung angenommen werden kann)

\[KI_{95\%} = z_{\alpha/2}\cdot\sqrt{\frac{\sigma^2}{n}} \Rightarrow P \{\bar{X}-z_{\alpha/2}\cdot\sqrt{\frac{\sigma^2}{n}}<\mu<\bar{X}+z_{\alpha/2}\cdot\sqrt{\frac{\sigma^2}{n}}\} = 0.95\]

Bei \(KI_{90\%}\) ist \(z_{\alpha/2}=1.65\), bei \(KI_{95\%}\) ist \(z_{\alpha/2}=1.96\), bei \(KI_{99\%}\) ist \(z_{\alpha/2}=2.58\)

Berechnung in R: Große Stichprobe

Beispiel Blattlänge

\(\mu = 120\text{mm}\), \(\sigma = 50\text{mm}\)

# Population
pop <- rnorm(10000000, 
  mean = 120, sd = 50)
# Stichprobe
big_sample <- sample(pop, 
  size = 500)

→ Wir sind zu 95% sicher, dass der wahre Mittelwert im Bereich 115 - 123.50 liegt (119.20 ± 4.30).

Normalverteilung bei N = 500

(big_mean <- mean(big_sample))

[1] 119.2477

(big_se <- sd(big_sample)/sqrt(500))

[1] 2.169662

(z_lower <- qnorm(p = 0.025, mean = 0, sd = 1))

[1] -1.959964

(z_upper <- qnorm(p = 0.975, mean = 0, sd = 1))

[1] 1.959964

(CI_lower <- z_lower*big_se)

[1] -4.25246

(CI_upper <- z_upper*big_se)

[1] 4.25246

Konfidenzintervalle beruhend auf der t-Verteilung

n < 30

Die Normalverteilung kann nur verwendet werden bei großen Stichproben und wenn die Populationsvarianz bekannt ist. Meist ist dies nicht der Fall.
Alternative: Multiplikation des Standardfehler des Stichprobenmittelwerts mit dem t-Wert.
Zuerst über die Formel \(t=\frac{\bar{X}-\mu}{S / \sqrt{n}}\) den t -Wert berechnen und dann (in der Tabelle oder mit R) \(t_{krit}\) und den p-Wert bestimmten.

Allgemeine Formel für ein beidseitiges Konfidenzintervall

\[KI_{95\%} = t_{(\alpha/2,df)}\sqrt{\frac{s^2}{n}} \Rightarrow P \{\bar{X}-t_{(\alpha/2,df)}\cdot\sqrt{\frac{s^2}{n}}\leq \mu \leq \bar{X}+t_{(\alpha/2,df)}\sqrt{\frac{s^2}{n}}\} = 0.95\] (df = degrees of freedom: n-1)

Berechnung in R: Kleine Stichprobe

Beispiel Blattlänge

\(\mu = 120\text{mm}\), \(\sigma = 50\text{mm}\)

# Population
pop <- rnorm(10000000, 
  mean = 120, sd = 50)
# Stichprobe
small_sample <- sample(pop, 
  size = 5)

→ Wir sind zu 95% sicher, dass der wahre Mittelwert im Bereich 33.80 - 125.50 liegt (79.60 ± 45.90).

t-Verteilung bei N = 5

(small_mean <- mean(small_sample))

[1] 79.62948

(small_se <- sd(small_sample)/sqrt(5) )

[1] 16.51951

(t_lower <- qt(p = 0.025, df = 4)) # df=n-1

[1] -2.776445

(t_upper <- qt(p = 0.975, df = 4))

[1] 2.776445

(CI_lower <- t_lower*small_se)

[1] -45.8655

(CI_upper <- t_upper*small_se)

[1] 45.8655

Berechnung in R: Kleine Stichprobe

Beispiel Blattlänge

Berechnung von \(t_{(\alpha,df)}\) mittels t-Tabelle

Irrtumswahrscheinlichkeit für den zweiseitigen Test.
FG	0.5	0.2	0.1	0.05	0.025	0.01	0.005	0.002	0.001
1	1.000	3.078	6.314	12.706	25.452	63.657	127.321	318.309	636.619
2	0.816	1.886	2.920	4.303	6.205	9.925	14.089	22.327	31.599
3	0.765	1.638	2.353	3.182	4.177	5.841	7.453	10.215	12.924
4	0.741	1.533	2.132	2.776	3.495	4.604	5.598	7.173	8.610
5	0.727	1.476	2.015	2.571	3.163	4.032	4.773	5.893	6.869
10	0.700	1.372	1.812	2.228	2.634	3.169	3.581	4.144	4.587
15	0.691	1.341	1.753	2.131	2.490	2.947	3.286	3.733	4.073
20	0.687	1.325	1.725	2.086	2.423	2.845	3.153	3.552	3.850
30	0.683	1.310	1.697	2.042	2.360	2.750	3.030	3.385	3.646
40	0.681	1.303	1.684	2.021	2.329	2.704	2.971	3.307	3.551

Your turn …

Quiz: Vergleiche die Konfidenzintervalle

Wie groß ist das \(KI_{95\%}\) beim Zugverhalten verschiedener Vogelarten (von Skandinavien)?

Buchfink

Grünfink

Mönchsgrasmücke

Kenngröße	Buchfink	Grünfink	Mönchsgrasmücke
Mittelwert	1800km	1950km	3000km
Standardabweichung s	±900km	±400km	±1000km
Stichprobengröße n	20	10	30

Quiz: Breite der 95%-Konfidenzintervalle

Kenngröße	Buchfink	Grünfink	Mönchsgrasmücke
Mittelwert	1800km	1950km	3000km
Standardabweichung s	±900km	±400km	±1000km
Stichprobengröße n	20	10	30

p

Visualisierung von KI

Unterscheiden sich verschiedene Vogelarten von Skandinavien in der mittleren Entfernung ihrer Zugdistanzen?

→ Wenn das 95% Konfidenzintervall (KI) der einen Stichprobe das KI der anderen nicht beinhaltet, kann man schlussfolgern, dass sich die Mittelwerte voneinander unterscheiden.

Bootstrapping oder die ‘Schnürsenkelmethode’

Nicht-parametrische KIs

Nützliche Methode wenn Verteilung nicht einer theoretischen Verteilung entspricht (z.B. der z- und t-Verteilung).
Prinzip:
1. Die Verteilung der Stichprobe dient als Grundlage einer ‘Pseudopopulation’.
2. Aus dieser ‘Pseudopopulation’ entnehmen wir wiederholt Stichproben und berechnen jeweils die Kenngröße.
3. Da der Stichprobenumfang meist limitiert ist, werden Proben mit Rücklegen entnommen (somit unendlich groß).
4. Aus der Grundgesamtheit der Kennwerte (z.B. der Mittelwerte) berechnen wir das untere und obere 2.5% (oder 0.5%,..) Quantil als unsere Konfidenzgrenze.
Ergebnisse sind recht zuverlässig und mit Computern schnell umzusetzen.
Die KI sind nicht unbedingt symmetrisch.

Bootstrapping

Beispiel

Die Population

mean(population)

[1] 112.0038

Die Stichprobe

x <- sample(population, 20)
mean(x)

[1] 111.8842

hist(x, main = "Stichprobe (N=20)")

Bootstrapping

Berechnung

Schritt 1-3: Die Schleife

it <- 10000 # 10000 Iterationen
sm <- numeric(it) 
for (i in 1:it){
  xs <- sample(x, replace = T) 
        # (N auch 20)
  sm[i] <- mean(xs)
}

Schritt 4: Die Quantilen = KI

# 2.5% und 97.5% Quantilen = 95% Konfidenzgrenzen:
quantile(x = sm, probs = c(0.025, 0.975))

    2.5%    97.5% 
111.4535 112.3710

# KI:
quantile(sm, c(0.025, 0.975)) - mean(x)

      2.5%      97.5% 
-0.4306154  0.4868308

# Vergleich zum (symmetrischen) t-basierten KI
qt(p = 0.975, df = 19)*(sd(x)/sqrt(20))

[1] 0.503608

Berechnung des Stichprobenumfangs N

Bei normalverteilten Daten lässt sich die Formel zur Berechnung des KI des Mittelwerts nach der Stichprobe umformen:

\(E = z_{\alpha/2}\sqrt\frac{\sigma^2}{n}\)
\(\Rightarrow~n=(\frac{z_{\alpha/2}\cdot\sigma}{E})^2\)

(E ist der maximale Schätzfehler)

Beispiel: Zugverhalten des Buchfink

Wie groß muss N sein, damit wir zu 99% sicher sind, dass der wahre Mittelwert im Bereich ±25km (=E) um den Stichprobenmittelwert liegt?

Durch die vorherige Studie wissen wir \(\sigma = 900\text{km}\);
Wenn \(\alpha = 0.01\), dann \(z_{\alpha/2}=2.58\)

\(n=(\frac{z_{\alpha/2}\cdot\sigma}{E})^2=(\frac{2.58\cdot 900}{25})^2 = 8599\)

z_alpha_2 <- qnorm(p = 0.995, 0, 1)
E <- 25
s <- 900
(z_alpha_2*s / E)^2

[1] 8598.826

Übungsaufgabe

Übungen aus…

Kapitel 4 - Schätzverfahren

R Notebook-Skripte
- DS2_04_Übungen.Rmd
- DS2_04_Übungen_Lösung.Rmd

Abschlussquiz

Fragen?

Bei weiteren Fragen: saskia.otto(at)uni-hamburg.de

Diese Arbeit is lizenziert unter einer Creative Commons Attribution-ShareAlike 4.0 International License mit Ausnahme der entliehenen und mit Quellenangabe versehenen Angaben.